Carlos B Fernández. El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos (LA LEY 16/1950), por lo que es contrario a la ley.
Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.
Los hechos
Según la sentencia, cuyo texto está disponible en neerlandés, el denominado Sistema de Indicación de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerlandés utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.
El sistema se basa en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.
Esta medida, instaurada a solicitud de determinadas agencias y organismos públicos, a la vista del elevado volumen de fraude detectado en el país, se basa en la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 permite la elaboración de informes de riesgos para evaluar el riesgo de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos.
De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género y características administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida información sobre bienes muebles e inmuebles; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integración a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona está asegurada en virtud de la Ley de seguro de salud.
El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los números de seguridad social y las direcciones por un código (seudónimo). A continuación se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, física o jurídica, o una dirección, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del análisis de riesgos por una unidad de análisis específica. En la segunda fase, los datos descifrados son analizados por esta unidad de análisis, que asigna un nivel de riesgo definitivo.
La decisión del tribunal
Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y según la sentencia del tribunal local de La Haya, la legislación que sustenta la aplicación de este algoritmo, no cumple con el requisito establecido en el Artículo 8, párrafo 2 del CEDH (LA LEY 16/1950), de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democrática. Es decir, que sea necesaria y proporcional en relación para el propósito previsto.
En particular, estima que esta legislación no cumple con el “equilibrio justo” (fair balance, en el original) que de acuerdo con el CEDH (LA LEY 16/1950) debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada que supone, para poder estimar suficientemente justificada esta intromisión.
En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH (LA LEY 16/1950) y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.
A continuación presentamos los distintos argumentos que sustentan esta decisión.
El alcance del derecho al respeto a la vida privada de los ciudadanos en el CEDH (LA LEY 16/1950) y en el RGPD
El artículo 8 del Convenio Europeo sobre Derechos Humanos (Derecho al respeto a la vida privada y familiar) establece:
"1. Toda persona tiene derecho al respeto de su vida privada y familiar, de su domicilio y de su correspondencia.
2. No podrá haber injerencia de la autoridad pública en el ejercicio de este derecho sino en tanto en cuanto esta injerencia esté prevista por la ley y constituya una medida que, en una sociedad democrática, sea necesaria para la seguridad nacional, la seguridad pública, el bienestar económico del país, la defensa del orden y la prevención de las infracciones penales, la protección de la salud o de la moral, o la protección de los derechos y las libertades de los demás."
A este respecto, el tribunal aprecia, en primer lugar, que los derechos garantizados por el CEDH (LA LEY 16/1950) forman parte del derecho de la UE como principios generales de la misma (artículo 6.3 del Tratado de la UE). En segundo lugar, que el CEDH (LA LEY 16/1950) establece una protección mínima del derecho fundamental a la privacidad, por lo que la protección del derecho del ciudadano de la UE a la protección de datos personales se ha determinado con mayor detalle de acuerdo con la Carta y el RGPD, yendo en algunos aspectos más allá en algunos aspectos que bajo el CEDH (LA LEY 16/1950).
Efectos del informe de riesgos sobre la vida privada de las personas
En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.
El tribunal también deriva esa conclusión de las directrices del Grupo de Trabajo del artículo 29 del de Protección de Datos de 4 de diciembre de 2008, según las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso más extremo, conducir a su exclusión o discriminación.
Una finalidad legítima, perseguida por unos medios desproporcionados
El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.
Pero, añade, en este desarrollo, el derecho a la protección de datos es cada vez más importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilación y el análisis de datos con la ayuda de estas nuevas tecnologías puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.
Por lo tanto, el legislador también tiene una responsabilidad especial en el caso del uso de un instrumento como SyRI. Y en este sentido, el tribunal aprecia también que el método aplicado en este caso, no respeta el principio de "equilibrio justo" que debe existir entre los objetivos perseguidos y la violación de la vida privada de las personas que provoca, pues no resulta necesario y proporcional para los propósitos que persigue.
En concreto, las garantías previstas en la legislación con miras a proteger la privacidad de aquellos cuyos datos pueden procesarse con el sistema SyRI resultan insuficientes teniendo en cuenta los principios de transparencia, limitación del tratamiento y minimización de datos, que son principios fundamentales de la protección de datos.
Falta de transparencia del algoritmo
El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH (LA LEY 16/1950) y en el RGPD (arts. 5.1 a) y 12).
El tribunal considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.
Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.
Po otra parte, sólo existe la obligación legal de publicar por adelantado el inicio de un proyecto de SyRI mediante su publicación en el Staatscourant (Boletín Oficial del Estado) y de dar acceso al registro de notificaciones de riesgo previa solicitud.
A juicio del tribunal, este principio no se ha observado suficientemente en la legislación SyRI a la luz del artículo 8, apartado 2, del CEDH (LA LEY 16/1950). El tribunal considera que la legislación SyRI de ninguna manera proporciona información sobre los datos fácticos que pueden justificar la presencia de una circunstancia en particular, o qué datos objetivos objetivos pueden justificar la conclusión de que existe un mayor riesgo. En la documentación aportada, se añade, solo se dan algunos ejemplos de indicadores que pueden indicar un mayor riesgo y un posible impacto.
Relevancia de la falta de transparencia
Como resultado de lo anterior, concluye el tribunal, es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.
Es igualmente difícil saber cómo el titular de unos datos que se hayan procesado con SyRI, pero que no han llevado a un informe de riesgos, puede ser consciente de que sus datos se han procesado en de forma correcta. El hecho de que en esta última situación los datos no condujeran a un informe de riesgos y, además, que fuesen a destruidos a más tardar cuatro semanas después del análisis, no altera falta de transparencia requerida con respecto a ese tratamiento.
Esa falta de transparencia también plantea problemas de verificabilidad en relación con posibles efectos discriminatorios (no intencionados), máxime teniendo en cuenta que el estudio se realiza sobre determinadas poblaciones consideradas sensibles. Dada la gran cantidad de datos utilizados por el algoritmo, incluidos datos personales de categoría especial, y el hecho de que se utilizan perfiles de riesgo, existe el riesgo de que se realicen conexiones involuntarias basadas en sesgos. Y sobre la base de la legislación aplicable no es posible evaluar si este riesgo se ha abordado adecuadamente.